Este monumento, localizado fuera del pueblo, fue construído por los Marqueses de Ayamonte a finales del siglo XIV, es decir, antes de que el pueblo fuese construído, ya en el siglo XVI, y es el edificio que alberga las principales actividades de culto.
Actualmente, en la Ermita se encuentra la patrona de este municipio, la Virgen de la Blanca. Es también donde tiene lugar la procesión de la misma en las fiestas patronales, que va acompañada de la conocida Danza de los Palos, la cual se practica en su honor. Al estar el edificio levantado sobre un monte podía verse desde muy lejos, y es por ello que muchos marineros de Lepe, Ayamonte e Isla Cristina veneraban a la Virgen de la Blanca y le rendían culto.
Tradicionalmente, se dice que a un pastor lepero que se dedicaba al cuidado de los ganados de la zona se le apareció una Imagen de la Virgen María con un Niño Jesús colocada sobre la copa de un olivo, sobre el cual ahora se sustenta el lugar de mayor importancia de la ermita: el camarín de la Virgen. Esta aparición causó en el pastor la siguiente reacción: "Qué Virgen tan Blanca y tan Divina". He aquí la razón por la que esta Virgen recibe el nombre de Nuestra Señora de la Blanca.
Fue tal el alborozo de este pastor, que intentó llevarse a la Virgen a Lepe para allí rendirle culto. De tal manera que bajó del árbol aquella imagen e intentó llevársela, pero al alejarse un poco del recinto le desaparecía de entre las manos, volvió a intentarlo pero le ocurría una vez tras otra. Acto seguido, se dirigió al pueblo para explicar cuanto le sucede, y el marquesado decide erigir la Ermita, la cual se dotó de un sacerdote y en la que se colocó la Imagen de Nuestra Señora de la Blanca.
En un manuscrito de mediados del siglo XIX, se dice que los marqueses mandaron hacer sus habitaciones o cuartos "en las que moraban sus temporadas, y asimismo tenían allí sus jardines, en el sitio que se llama, huerta de la Blanca, a la bajada detrás de la Hermita".
En cuanto a la vegetación del recinto, se caracteriza por la presencia de pinares constituídos principalmente por ejemplares de Pinus pinea que rodean la zona. Además, pueden apreciarse en los arriates laterales del edificio otras especies muy comunes, como el olivo o el rosal, e incluso aparecen ejemplares de limpiatubos y damas de noche. La presencia de ciertos olivos podrían evocar al olivo sobre el cual se habría construído el edificio.
Cabe destacar que tradicionalmente había en el recinto 2 pinos simbólicos, conocidos como el pino de la Virgen y el pino del Niño. El primero se situaba bajando la cuesta de la Ermita, rodeado de unas rejas, y el segundo era el que se localizaba más cerca del edificio, frente al mismo. El pino de la Virgen enfermó en el 1982, y el del Niño también cayó enfermo y se le tuvo que quitar las ramas, quedando solo el tronco. A pesar de ello no pudo sobrevivir y tuvo que talarse en el año 2012 o 2013. Con las rodajas obtenidas de la tala del pino de la Virgen en 1982 se construyeron las mesas de la Masía o del Mesón.